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摘 要 : [目的 /意义 ] 在 数据 期 刊 同行 评议 的 视角 下 识别 并 构建 科学 数据 质量 评价 指标 ,增强 对 科学 数据 质量 评价 的 理 
解 ,为 数据 论文 同行 评议 实践 提供 参考 。[ 方 法 /过 程 ] 利用 扎根 理论 的 研究 方法 ,选取 20 个 数据 期 刊 的 数据 同 
行 评议 指南 作为 质 性 研究 的 原始 资料 ,并 使 用 NVivo 质 性 分 析 软 件 对 资料 进行 开放 式 编码 、 关 联 式 编码 和 选择 性 
编码 ,通过 理论 饱和 度 检 验 对 编码 结果 进行 检验 。[ 结果 /结论 ] 最 终 构建 数据 论文 同行 评议 情境 下 的 科学 数据 质 
量 评价 指标 体系 ,识别 出 数据 内 在 质量 数据 表达 质量 数据 访问 质量 和 数据 效用 质量 4 个 主 范畴 和 14 个 评价 指 
T 标 , 并 具体 分 析 指 标的 含义 及 分 类 ,帮助 数据 论文 作者 和 评审 者 深入 了 解 科学 数据 质量 的 内 在 结构 。 
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科学 数据 质量 同行 评议 


评价 指标 ”扎根 理论 


-在 学 术 界 不 断 推进 开放 科学 、 科 学 数据 共享 以 及 
密集 型 科学 探究 的 背景 下 ,科学 数据 共享 的 体 量 
科 领 域 覆 盖 度 持续 增加 ,制约 科学 数据 共享 和 复 
且 益 发 挥 的 瓶颈 因素 逐渐 转向 科学 数据 的 质 
最 8 。 如 何 有 效 评价 进而 控制 科学 数据 质量 成 为 科 
学 又 据 出 版 者 、 科 学 数据 中 心 以 及 其 他 科学 数据 传播 
参合 者 共同 关注 的 问题 。 

己 在 不 同类 型 和 形式 的 科学 数据 质量 评价 实践 中 ， 
数 树 期 刊 开展 的 同行 评议 发 展 最 为 迅速 ,并 且 得 到 了 
学 纺 界 的 普遍 认同 ”。 数 据 论文 同行 评议 的 被 接受 程 
度 及 其 吸引 的 学 术 关注 度 展现 了 其 良好 的 发 展 前 景 ， 
成 为 其 他 类 型 科学 数据 质量 评价 可 借鉴 和 参考 的 “最 
佳 实践 "。 因 此 ,研究 数据 论文 同行 评议 实践 ,调研 同 
行 评议 指南 并 从 中 提炼 出 评价 内 容 和 评价 指标 , 既 可 
以 更 深刻 地 了 解 其 现状 ,也 可 以 为 科学 数据 中 心 等 其 
他 机 构 开展 科学 数据 质量 评价 提供 更 有 效 的 参考 。 

国内 外 学 者 已 经 围绕 科学 数据 质量 评价 和 数据 论 
文 同行 评议 开展 了 多 项 研究 ,涉及 科学 数据 质量 的 构 
成 .评价 标准 和 评价 方法 5 ,以 及 数据 论文 的 概念 、 


性 质 、 质 量 评价 与 控制 ”等 多 个 主题 。 然 而 在 文献 
分 析 时 却 发 现 , 针 对 数据 论文 同行 评议 开展 的 研究 主 
要 使 用 调查 、 典 型 案例 分 析 、 综 述 和 分 析 探 讨 等 方法 ， 
这 些 研 究 未 能 完整 地 覆盖 各 类 数据 期 刊 ,同时 其 研究 
结论 缺乏 必要 的 数据 支撑 。 为 此 ,本 论文 力图 在 全 面 
调查 现 有 数据 期 刊 的 基础 上 ,以 各 期 刊 提供 的 同行 评 
议 指南 作为 分 析 对 象 ,采用 扎根 理论 方法 识别 科学 数 
据 质量 评价 指标 ,同时 建立 包括 标准 以 及 标准 所 属 类 
别 的 评价 框架 ,为 数据 期 刊 和 科学 数据 中 心 等 发 展 自 
身 的 评价 标准 体系 提供 参考 。 


1 文献 综述 


1.1 科学 数据 质量 评价 相关 研究 

R. Y. Wang 等 是 数据 质量 研究 领域 的 主要 代表 
性 学 者 之 一 ,他 认为 数据 质量 是 指 “ 适 合 数据 消费 者 使 
用 的 数据 (Fit-for-use )”, 可 以 通过 准确 性 和 完整 性 等 
维度 予以 表征 和 度量 。 他 从 用 户 实验 中 得 到 数据 质量 
的 概念 框架 ,框架 中 包含 内 在 数据 质量 、 可 访问 的 数据 
质量 、 上 下 文 数据 质量 、 表 达 性 数据 质量 4 个 质量 方 
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和 15 个 数据 质量 维度 5 。 该 框架 被 P. Katerattan- 
akul,B. Klein 等 许多 学 者 验证 和 使 用 “”“" ,为 后 续 科 
学 数据 质量 评价 的 研究 莫 定 了 基础 。 国 内 外 学 者 从 数 
据 生产 、 使 用 和 管理 等 多 个 方面 对 科学 数据 质量 控制 
和 评价 展开 了 相应 的 研究 。L.，Waaijers 等 从 数据 的 生 
命 周 期 方面 调查 了 应 该 对 研究 性 数据 进行 的 质量 控制 
操作 ,发 现在 数据 生产 阶段 ,设备 的 准确 性 和 方法 问题 
非常 重要 ;在 数据 管理 阶段 ,要 确保 数据 的 持久 性 和 可 


研讨 会 上 ,代表 学 术 界 .产业 界 资助 机 构 和 学 术 出 版 
商 的 不 同 利益 相关 者 集合 在 一 起 ,提出 并 共同 认可 “可 
发 现 (findable) 可 访问 (accessible) .可 互 操 作 (interop- 
erable) 和 可 重用 (reusable)” 的 FAIR 原则 1, 为 数据 
管理 和 数据 发 布 提供 了 广泛 的 准则 ,为 数据 出 版 中 的 
数据 评审 标准 的 建立 提供 了 主要 依据 。 根 据 数 据 出 版 
的 特点 ,国内 外 学 者 对 科学 数据 质量 同行 评议 指标 展 
开 了 研究 。J E. Kratz 等 探讨 了 科研 人 员 对 数据 出 版 


访问 性 ,其 中 良好 的 元 数据 是 一 个 基本 要 求 ; 在 数据 重 
用 阶段 ,要 关注 数据 的 实际 内 容 质量 , 即 数据 集 的 学 术 
MMES o V. Lush 等 对 地 理 空间 数据 的 用 户 和 专家 进 
行 了 一 系列 半 结 构 化 访谈 ,以 确定 地 理 空间 数据 集 的 
关键 质量 指标 ,研究 发 现 拥有 完整 元 数据 记录 良好 声 
誉 的 数据 集 更 可 能 被 用 户 视 为 高 质量 "的 数据 ,并 且 
m so ae 
Je UU ST ML DU cd De s a 

mu o a 
等 下] M. Gamble 等 发 现 科研 人 员 使 用 数据 时 关注 
数据 的 质量 (与 规范 和 标准 相 比 是 良好 )、 信 任 ( 数 
JERIA RER R) 和 效用 (数据 适应 当前 需要 ) 三 个 方 
配 \]。 崔 旭 等 从 科学 学 数据 管理 的 角度 对 数据 选择 与 评 
俐 鸭 关键 要 素 进 行 了 研究 ,总 结 出 安全 性 、 精 确 性 、 相 
奖章 可 获得 性 和 可 用 性 5 个 数据 质量 评价 标准 包 

交 建 等 通过 4 分 析 高 校 科研 数据 质量 存在 的 问题 , 构 
渤 数 据 质 量 控制 架构 体系 ,指出 要 从 准确 性 、 完 整 
性 c 众 时 性 和 一 致 性 来 评估 数据 质量 ”。 
“三 综合 分 析 以 上 研究 发 现 ,学 者 们 普遍 认为 可 以 通 
过 区 个 质量 指标 来 对 科学 数据 质量 进行 评价 ,以 便 对 
数据 的 各 个 方面 进行 质量 把 控 。 但 是 从 不 同 研究 角度 
出 发 ,学 者 们 对 科学 数据 质量 内 涵 的 理解 以 及 提出 的 
评价 指标 都 存在 差异 ,有 必要 针对 具体 的 评价 情境 和 


和 同行 评审 的 期 望 ,发 现 研 究 者 们 希望 同行 评审 关注 
的 7 个 方面 ,分 别 是 方法 是 否 恰当 、 可 重用 性 、 技 术 质 
量 、 alid 元 数据 是 否 标准 .新 颖 性 和 影响 
Jj "^, T. A. Carpenter 通过 调研 得 到 数据 论文 的 4 类 
评审 标准 ,分 别 是 编辑 查 标准 、 元 数据 质量 标准 、 数 
据 质量 标准 方法 审查 标准 “ 。 国 内 学 者 中 , 刘 传 簿 选 
取 10 种 代表 性 数据 期 刊 进行 调研 ,通过 分 析 其 数据 论 
文 的 同行 评审 指南 ,总 结 得 到 5 个 方面 的 评审 标准 ,分 
别 为 论文 质量 控制 .数据 方法 的 质量 文章 和 数据 的 一 
致 性 ,数据 的 可 用 性 、 数 据 的 效用 和 价值 '" 。 涂 志 芳 
指出 科学 数据 中 存在 科学 性 ,技术性 和 监护 性 3 类 评 
审 ,其 中 科学 性 评审 是 对 数据 内 容 的 科学 性 特征 进行 
评审 ,表现 为 完整 性 准确 性 、 真 实 性 .有 用 性 、 可 靠 性 
等 特征 ,通常 由 同行 评审 专家 进行 评审 。 孔 丽华 等 
基于 FAIR 数据 共享 原则 对 数据 出 版 中 数据 质量 评价 
指标 进行 设计 ,得 到 可 获取 、 可 评估 \、 可 理解 和 可 重用 
等 4 个 一 级 指标 和 13 个 二 级 指标 '”。 李 晓 芋 等 根据 
地 质 科 学 数据 的 特点 指出 ,应 该 在 地 质 科 学 数据 出 版 
过 程 中 对 完整 性 、 可 用 性 、 专 业 性 \ 保 密 内 容 、 敏 感 内 
容 公开 发表 内 容 6 个 方面 进行 质量 审查 “| 。 

通过 文献 调研 发 现 ,科学 数据 质量 同行 评议 指标 
的 研究 处 于 探索 性 阶段 。 国 内 外 相关 学 者 主要 以 总 结 
归纳 的 方式 提出 科学 数据 质量 评价 指标 ,并 且 指 标 之 


评价 主体 对 科学 数据 质量 评价 指标 进行 更 为 深入 的 探 
索 。 
1.2 ”科学 数据 质量 同行 评议 指标 相关 研究 

同行 评议 是 一 个 或 多 个 专业 知识 和 经 验 丰 富 的 学 
科 领 域 专家 共同 对 科学 数据 质量 进行 评价 的 过 程 。 从 
同行 评议 中 可 以 获得 数据 集 的 优点 .数据 集 的 问题 和 
其 他 信息 反馈 。 科 研 人 员 普遍 认为 经 过 严格 同行 评 
议 的 科学 数据 具有 一 定 的 可 信和 度 和 声誉 。 因 此 ,在 数 
据 同行 评议 成 为 必然 趋势 的 背景 下 , 越 来 越 多 的 学 者 
开始 关注 如 何 对 科学 数据 质量 进行 同行 评议 以 及 应 该 
采用 哪些 指标 进行 评议 。 

2014 年 ,荷兰 莱 顿 “联合 共 建 数据 公平 港口 学术 


间 差 异 较 大 ,还 未 形成 统一 的 评价 标准 和 框架 ,尤其 是 
现 有 研究 中 评价 指标 是 否 全 面 、 指 标 内 涵 是 否 明确 等 

问题 仍 有 竺 讨论。 因此 ,本 研究 以 数据 期 刊 已 经 发 布 
0 0) 70893 5 
质量 评价 标准 进行 定性 分 析 , 以 期 发 现 并 构建 科学 数 
据 质 量 同行 评议 指标 体系 ,为 评审 专家 和 其 他 数据 用 
户 判断 科学 数据 质量 提供 参考 。 


2 研究 设计 
2.1 研究 方法 


本 文采 用 扎根 理论 方法 构建 科学 数据 质量 同行 评 
议 指标 体系 。 扎 根 理论 是 由 社会 学 家 B. G. Glaser 
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等 所 提出 的 定性 研究 方法 ,为 形成 和 处 理 丰 富 的 定 
性 材料 提供 了 系统 的 程序 。 利 用 扎根 理论 方法 可 以 从 
收集 的 材料 中 逐步 发 展 出 更 抽象 的 概念 范畴 ,并 确定 
其 中 的 模式 关系 。 关 于 科学 数据 质量 概念 的 界定 还 没 
有 得 到 学 术 界 的 共识 ,其 评价 指标 .评价 内 容 以 及 两 者 
的 对 应 关系 在 以 往 的 研究 中 也 存在 矛盾 ,有 必要 调研 
数据 期 刊 同 行 评议 指南 的 内 容 现状 并 从 这 些 现象 中 总 
结 出 科学 数据 质量 的 内 涵 和 评价 指标 ,丰富 科学 数据 
质量 的 理论 研究 。 因 此 ,本 研究 适合 采用 扎根 理论 来 
对 科学 数据 质量 同行 评议 指标 和 范畴 进行 质 的 分 析 和 
确定 。 
2.2 ”数据 收集 

研究 以 数据 期 刊 的 同行 评议 指南 或 类 似 政策 文本 
fk 为 分 析 对 象 。 数 据 期 刊 界定 为 曾 发 表 过 数据 论文 的 
期 珂 ,包括 只 发 表 数 据 论 文 的 纯 数据 期 刊 和 同时 发 表 
其 他 类 型 论文 的 混合 型 数据 期 刊 。 研 究 首先 通过 两 个 
次 芭 确 定数 据 期 刊 列表 ,然后 根据 列表 逐一 获取 其 同 
行 主 议 指南 或 类 似 政策 文本 ,同时 根据 文本 获取 情况 
丽 次 精炼 期 刊 列表 。 在 第 一 个 数据 期 刊 获取 途径 中 ， 
BE 通过 Web of Science 检索 确定 数据 论文 ,然后 提取 


不 同 论文 所 在 的 期 刊 。 检 索 首 先 为 主题 过 滤 , 其 检索 
条 件 为 :“ 主 题 ; (in) OR 主题 :(on)OR 主题 ( by) OR 
主题 (at) OR 主题 : ( about) OR W.: (under) OR 主 
题 :(of)OR 主题 ;(the)”, 其 次 按照 文献 类 型 选择 “Da- 
ta Paper" 进行 过 滤 。 如 此 得 到 2 398 篇 数据 论文 ,分 别 
来 自 95 个 不 同 的 期 刊 。 在 第 二 个 途径 中 ,主要 参考 
L. Candela 等 在 2015 年 统计 的 一 个 包含 15 家 出 版 机 
构 出 版 的 116 种 数据 期 刊 的 清单 ,以 及 刘 凤 红 等 在 
2019 年 对 L，Candela 清单 进行 更 新 .扩展 后 所 形成 的 
包括 26 家 出 版 机 构 和 168 种 数据 期 刊 在 内 的 清单 2 。 

基于 以 上 清单 ,对 数据 期 刊 或 其 所 属 出 版 机 构 官 
方 网 站 上 的 评审 指南 或 类 似 政策 文档 进行 核验 ,一 方 
面 根据 核验 情况 从 清单 中 排除 重复 ( 因 若 干 期 刊 属于 
同一 出 版 集团 而 共享 相同 的 策略 ) 或 缺乏 相关 文档 的 
期 刊 ,一 方面 下 载 或 复制 评审 指南 等 相关 文本 。 所 有 
英文 文本 均 翻 译 为 中 文 , 并 通过 作者 之 间 的 交叉 检验 
保证 翻译 质量 。 通 过 上 述 步骤 ,研究 最 终 确 定 了 20 f 
来 自 不 同期 刊 的 同行 评审 指南 ,数据 期 刊 的 详细 信息 
见 表 1 ,其 中 卫 -J11 为 混合 型 数据 期 刊 ,J12-J20 为 纯 数 
据 期 刊 。 


表 1 数据 期 刊 详 细 信息 


= 数据 期 刊 名 称 所 属 出 版 商 或 出 版 集团 所 属 学 科 领 域 
CN J1 F1000 Research F1000 Research 综合 性 
> J2 Ecology Ecological Society of America 环境 与 生态 学 
S< J3 GigaScience Oxford University 生物 学 .医学 
(^ Biodiversity Science 中 国 科 学 院 生 物 多 样 性 委员 会 等 生物 学 
c J5 BMC Research Notes Biomed Central 综合 性 
c J6 Ecological Research Wiley 生物 学 
Q J7 Earthquake Spectra Earthquake Engineering Research Institute 工程 技术 .地质 
J8 Advances in Atmospheric Sciences Science Press 大 气 和 物理 海洋 学 
J9 Genetics Frontiers 遗传 学 
J10 Data Science Journal CODATA 综合 性 
J11 PlosONE Plos 综合 性 
J12 Scientific Data Springer-Nature 综合 性 
J13 Data. in Brief Elsevier 综合 性 
J14 Earth System Science Data Copernicus 地 球 科学 气象 与 大 气 科学 
J15 Geoscience Data Journal Wiley 地 球 科 学 .气象 与 大 气 科学 
J16 Biodiversity Data Journal Pensoft 生物 学 
J17 Open Health Data Ubiquity 医学 
J18 Data MDPI 综合 性 
J19 中 国 科 学 数据 中 国 科 学 院 计算 机 网 络 信息 中 心 综合 性 
J20 全 球 变化 数据 学 报 中 国 科学 院 地 理科 学 与 资源 研究 所 地 球 科学 .气象 与 大 气 科 学 
2.3 研究 过 程 编码 。 本 研究 在 20 份 同行 评审 指南 中 选择 17 份 作 为 分 


基于 扎根 理论 的 研究 思路 ,利用 Nvivoll 软件 对 原 
资料 中 的 语句 进行 开放 式 编码 .关联 式 编码 和 选择 性 


析 对 象 , 预 留 3 份 数据 期 刊 ( 隐 .JI10 和 了 1) 的 同行 评审 
指南 作为 校 验 样 本 。 为 减少 编码 的 主观 性 ,本 研究 参考 


125 


AELE EZ 


第 64 卷 第 17 期 2020 #9 H 


ChinaXiv& EBBT 


c— 


R. Y. Wang 等 ”提出 的 数据 质量 概念 框架 ,建立 了 科 
学 数据 质量 的 概念 框架 ,包括 数据 内 在 质量 数据 表示 
质量 .数据 访问 质量 和 数据 效用 质量 4 个 方面 ,如 表 2 所 
示 。 利 用 该 框架 对 从 原始 资料 中 提炼 出 的 科学 数据 质 
量 指标 进行 分 类 ,同时 利用 扎根 理论 在 实际 编码 过 程 中 
对 框架 中 的 要 素 内 涵 进 行 适当 扩充 和 修改 。 

表 2 科学 数据 质量 概念 框架 


分 类 含义 
数据 内 在 质量 。 数据 集 固有 的 质量 维度 ,包括 准确 性 ,真实 性 、 有 效 性 等 
内 容 
数据 表示 质量 。 数据 集 描述 信息 的 清晰 ,准确 ,完整 一 致 和 易 理解 程度 
数据 访问 质量 。 数据 集 及 其 描述 信息 的 可 发 现 和 可 获得 的 程度 
数据 效用 质量 。 数据 集 在 特定 或 通用 情境 中 的 作用 价值 


23 1 开放 式 编码 
3 原始 数据 的 开放 式 编码 可 实现 逐 层 的 概念 化 和 范 


固化 ,概念 是 编码 的 最 小 意义 单元 ,范畴 是 概念 抽象 后 
所 表现 的 观点 或 主题 。 在 开放 式 编码 中 , 先 将 收集 
到 的 所 有 同行 评审 标准 划分 为 181 条 原始 语句 (参考 
点 ) ,然后 对 原始 语句 进行 精炼 并 且 将 意思 相同 的 语句 
提炼 为 同一 个 概念 ,例如 将 “是 否 使 用 适当 的 方法 来 收 
集 和 处 理 数 据 ? (J73)” 和 “数据 产生 方法 是 否 适宜 ? 
(420-5 ) "都 提炼 为 "方法 适当 (al5)” ,共计 得 到 87 个 
初始 概念 。 之 后 通过 不 断 对 比分 析 , 将 具有 共性 的 初 
始 概念 进行 合并 从 中 抽象 出 14 个 范畴 ,部 分 编码 过 程 
如 表 3 所 示 。 开 放 式 编码 由 2 位 编码 员 共 同 完成 , 利 
用 O. R. Holsti ”可 信 度 公式 对 编码 结果 进行 一 致 性 
检验 ,结果 显示 一 致 性 程度 为 82% 。 针 对 检验 中 不 一 
致 的 情况 ,由 课题 组 共同 商议 决定 ,最 终 编 码 结果 如 表 
4 所 示 。 


e X3 ”部 分 开放 式 编码 过 程 
原始 语句 初始 概念 m 

o 116-6 Ha VoU e T Je c PCR IR TRE E e c? al 空间 和 时 间 范 围 的 满足 Al 完整 性 

=) J18-7 是 否 适当 描述 了 可 能 的 错误 源 ? a9 适当 讨论 错误 源 A2 准确 性 

er 120-5 数据 产生 方法 是 否 适 宜 ? al5 方法 适当 A3 可 靠 性 

e 183 是 否 对 数据 集 进行 了 定期 更 新 207 数据 定时 更 新 A4 及 时 性 
E J2-3 表达 简明 扼要 ,容易 理解 吗 ? a28 表达 简明 ;a29 表达 容易 理解 A5 易 理 解 性 

YI-5 数据 和 手稿 是 否 基本 一 致 ? a32 论文 和 数据 的 一 致 性 A6 一 致 性 

313-3 数据 格式 是 标准 的 吗 ? 240 数据 格式 符合 规范 AT 规范 性 
~ BA 是 否 为 应 提交 学 术 社区 认可 的 公共 储存 库 的 数据 提供 了 链接 ? a50 提供 数据 库 链接 A8 可 访问 性 
- 36-8 RAE AA T FRID? a57 数据 容易 下 载 A9 可 获取 性 
X 112-8 这 些 数据 文件 是 否 被 存放 在 了 最 合适 的 数据 知识 库 中 ? a60 合适 的 数据 存储 库 A10 可 存储 性 
己 。 MIA 这 些 数据 对 地 球 科学 做 出 了 重要 而 独特 的 贡献 四 ? a63 对 学 科 领 域 有 贡献 A11 增值 性 
gm J18-10 数据 可 重复 使 用 吗 ? a77 数据 可 重用 A12 可 重用 性 
PE 314-1 数据 和 方法 是 新 的 吗 ? a81 方法 新 颖 A13 新 颖 性 
J20-3 是 否 前 人 已 有 相同 的 数据 发 表 ? a85 没有 重复 发 表 数据 A14 唯一 性 


2.3.2 关联 式 编码 
关联 式 编码 实现 范畴 性 质 的 挖掘 和 范畴 与 主 范 
畴 间 关 联 关系 的 发 现 ,同时 对 范畴 进行 重新 归 类 和 
融合 。 根 据 科 学 数据 质量 概念 框架 ,将 开放 式 编 码 
形成 的 14 个 范畴 归 类 到 数据 内 在 质量 数据 表达 质 
量 .数据 访问 质量 和 数据 效用 质量 4 个 主 范畴 中 ( 见 
表 5)。 
2.3.3 选择 性 编码 
选择 性 编码 指 在 所 有 已 发 现 的 概念 类 属 中 系统 分 
析 并 总 结 形成 一 个 “核心 类 属 ” ,以 此 连贯 整个 编码 过 
程 ,从 而 构建 理论 模型 。 分 析 编 码 过 程 可 以 发 现 ,4 个 


p 


lil 


2.3.4 理论 饱和 度 验 证 和 指标 体系 构建 
依照 上 述 编码 过 程 对 预 留用 作 理 论 饱和 度 检 验 的 
3 份 数据 评审 指南 进行 再 次 编码 ,发 现 编码 结果 都 能 
列 和 人 已 形成 的 编码 概念 之 中 ,未 发 现 新 的 概念 范畴 和 
典型 关系 ,证 明 编 码 实 现 了 理论 饱和 且 核 心 范畴 有 效 。 
最 终 , 本 文 立足 于 数据 期 刊 同行 评议 的 视角 ,通过 编码 
结果 构建 了 科学 数据 质量 评价 指标 体系 , 见 图 1。 


3 ”科学 数据 质量 评价 指标 分 析 


3.1 数据 内 在 质量 
从 编码 结果 来 看 ,数据 内 在 质量 不 仅 指数 据 值 与 


主 范畴 分 别 对 应 同行 评议 对 科学 数据 质量 不 同方 面 的 
要 求 ,因此 提炼 出 “数据 期 刊 同行 评议 视角 中 的 科学 数 
据 质 量 ” 这 一 核心 范 晓 。 


实际 值 或 真实 值 一 致 的 程度 ,也 指数 据 的 完整 程度 和 
更 新 程度 ,可 以 通过 准确 性 、 可 靠 性 完整 性 和 及 时 性 
4 个 指标 进行 评价 。 可 靠 性 是 数据 内 在 质量 中 出 现 频 
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表 4 开放 式 编码 结果 
范畴 (参考 点 ) 初始 概念 
Al 完整 性 (25) ”al 空间 和 时 间 范 围 的 满足 ;a2 数据 结构 完整 ;a3 数据 缺失 ;a4 数据 完整 ;a5 数据 文件 的 完整 性 ;a6 元 数据 完整 ;a7 足够 的 数据 量 ;a8 足 
够 的 数据 深度 
A2 准确 性 (9) a9 适当 讨论 错误 源 ;al0 数据 准确 ;all 数据 异常 值 被 良好 记录 ;al2 说 明 数据 误差 限制 
A3 可 靠 性 (32) al3 方法 和 仪器 先进 ;al4 方法 科学 ;al5 方法 适当 ;al6 方法 严格 ;al7 良好 的 数据 质量 控制 ;al8 适当 引用 相关 数据 集 和 文章 ;al9 数据 
技术 合理 ;a20 数据 来 源 明 确 ;a21 数据 没有 作假 ;a22 数据 样本 具有 代表 性 ;a23 数据 样本 体 量 适当 ;a24 数据 有 逻辑 ;a25 数据 真实 可 
靠 ;a26 正确 的 研究 设计 

A4 及 时 性 (2) a27 数据 定时 更 新 
AS 易 理 解 性 (4) ”a28 表达 简明 ;a29 表达 容易 理解 ;a30 恰当 的 表现 形式 
A6 一 致 性 (15) ”a31 标题 摘要 和 关键 词 准确 描述 数据 ;a32 论文 和 数据 的 一 致 性 ;a33 数据 产生 方法 和 结果 一 致 ;a34 数据 一 致 性 ;a35 数据 与 元 数据 一 
致 ;a36 正确 描述 数据 
A7 规范 性 (23) ”a37 符合 数据 标准 ;a38 符合 提交 标准 ;a39 符合 制度 /公约 /条 款 ;a40 数据 格式 符合 规范 ;a41 数据 类 型 符合 要 求 ;a42 数据 组 织 合理 ;a43 
说 明 利益 冲突 和 道德 问题 ;a44 缩写 和 符号 正确 定义 ;a45 限制 敏感 数据 的 使 用 ;a46 元 数据 的 充分 描述 ;a47 元 数据 符合 标准 ;a48 元 数 
据说 明 数 据 所 有 权 ;a49 元 数据 组 织 合理 
A8 可 访问 性 (18) ”a50 建立 数据 库 链 接 ;a51 数据 公开 提供 ;a52 数据 可 访问 ;a53 数据 能 随时 提供 ;a54 提供 唯一 标识 符 
A9 可 获取 性 (7) ”a55 适当 的 版 权 许可 说 明 ;a56 数据 符合 开放 共享 协议 ;a57 数据 容易 下 载 ;a58 数据 完全 开放 共享 或 协议 共享 ;a59 说 明 如 何 获 取 数 据 和 
分 析 工 具 
eS 可 存储 性 (4) ”a60 合适 的 数据 存储 库 ;a61 数据 可 永久 保存 
增值 性 (15) a62 充分 解释 数据 价值 ;a63 对 学 科 领 域 有 贡献 ;a64 具有 发 表意 义 ;a65 具有 科学 意义 ;a66 数据 创建 理由 和 意义 清晰 ;a67 数据 能 支持 
研究 结论 ;a68 数据 有 使 用 价值 
E 用 性 (35) ”a69 方法 便于 重用 ;a70 方法 描述 详细 ;a71 分 析 工具 的 可 用 性 ;a72 实验 可 重复 ;a73 数据 格式 可 重 

可 操作 ;a76 数据 可 用 于 其 他 实验 或 验证 ;a77 数据 可 重用 ;a78 数据 描述 详细 充分 ;a79 提供 合适 的 
新 颖 性 (6) ”a81 方法 新 颖 ;a82 数据 加 工 处 理 和 质量 控制 过 程 创 新 ;a83 数据 具有 新 颖 性 ;a84 数据 来 源 创新 
稚 一 性 (3) a85 没有 重复 发 表 数 据 ;a86 没有 重复 实验 或 观察 ;a87 数据 具有 独特 性 


gi 


v1 


用 ;a74 数据 和 软件 可 使 用 ;a75 数据 
软件 和 服务 ;a80 提供 数据 重用 建议 
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T 
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A5 关联 式 编码 结果 


主 范畴 范畴 范畴 内 涵 
sB 数据 内 在 质量 Al 完整 性 数据 有 足够 的 数量 广度 和 深度 ,提交 的 数据 实体 .元 数据 数据 文件 的 完整 程度 
之 A2 准确 性 数据 正确 .无 误 的 程度 
» A3 可 靠 性 数据 的 产生 处 理 过 程 被 接受 或 被 认为 是 真实 可靠 和 可 信 的 程度 
a A4 及 时 性 数据 更 新 的 程度 
G2 数据 表达 质量 A5 易 理解 性 数据 ,数据 表现 形式 及 数据 描述 简明 ,清晰 无 歧义 且 易 于 理解 的 程度 
c A6 一 致 性 数据 描述 ,元 数据 和 数据 实体 的 一 至 对 应 程度 
Oo AT 规范 性 (元 ) 数 据 符合 现行 标准 、 公 约 、 条 例 或 规则 的 程度 
B3 数据 访问 质量 A8 可 访问 性 数据 能 够 通过 唯一 标识 符 和 数据 库 链 接 进行 快速 检索 的 程度 
A9 可 获取 性 数据 易于 下 载 . 获 取 和 查看 的 程度 
A10 可 存储 性 使 用 恰当 的 数据 库 和 数据 长 期 保存 的 程度 
B4 数据 效用 质量 A11 增值 性 数据 的 有 益 程 度 和 利用 数据 带 来 的 好 处 
AI2 可 重用 性 数据 作者 提供 数据 集 的 全 部 信息 以 便 他 人 重复 使 用 的 程度 
A13 新 颖 性 数据 来 源 .产生 方 式 方法 创新 的 程度 
A14 唯一 性 数据 与 已 发 表 数 据 的 重复 程度 
科学 数据 质量 语句 。 数 据 可 靠 性 评价 体现 的 是 评审 者 对 数据 的 生 


产 、 处 理 和 分 析 过 程 的 综合 判断 ,包括 数据 来 源 可 靠 、 
数据 方法 可 靠 ,数据 技术 可 靠 等 多 个 方面 。 例 如 原始 


数据 内 在 质量 


数据 访问 质量 


| s [oem [ee 语句 中 “数据 是 原始 的 ,还 是 来 源 明确 的 ? (J18-1)" 
=| æ | Æ || e AEE “有 无 发 现 或 怀疑 有 数据 作假 情况 (J20-11)” 等 是 对 数 
aliali- 据 来 源 是 否 可 靠 的 判断 ;“ 数 据 收集 方法 是 否 具 有 较 高 


的 科学 水 平 ? 〈J8-2) "是 评价 数据 方法 的 可 靠 程 度 ; 
“数据 集 在 技术 上 是 否 合理 ? (318-5) "是 评价 数据 技 
率 最 高 的 评价 指标 ,涉及 同行 评审 指南 中 的 32 个 原始 | 术 方面 的 可 靠 性 。 数 据 作 者 对 数据 质量 控制 的 描述 和 


1 科学 数据 质量 评价 指标 体系 


127 


AELE xt 


$864 35 58 17 Hg. 2020 5£9 月 


Chinay i 全 1 人 不甘 日 二 
ChninaXIv 合 作 HH | lj 


说 明 也 是 评审 者 评价 可 靠 性 的 判断 依据 ,这 可 能 是 因 
为 即使 方法 和 工具 非常 先进 ,数据 也 总 是 不 可 避免 地 
产生 偏差 或 错误 ,需要 作者 采取 一 定 的 质量 控制 措施 
来 保证 数据 的 可 靠 性 。 完 整 性 和 可 靠 性 有 一 定 的 关 
ZJ. C. Wallis 等 指出 数据 完整 性 与 可 靠 性 有 关 , 如 
果 数 据 的 生产 处 理 程序 可 靠 , 则 数据 可 以 在 此 过 程 中 
保持 完整 。 完 整 性 也 是 数据 内 在 质量 中 出 现 频率 
较 高 的 评价 指标 ,涉及 同行 评审 指南 中 的 25 个 原始 语 
AJo SORTERAR TEE” R. Y. Wang 等 "学 
者 提出 的 数据 广度 ,深度 和 结构 完整 程度 以 外 ,还 包括 
元 数据 和 数据 文件 的 完整 性 ,例如 原始 语句 提 到 的 “是 
否 能 够 确认 作者 所 存储 的 数据 文档 是 完整 的 并 与 数据 
描述 符 中 的 描述 相 匹 配 ? (J12-7) “元 数据 是 否 完整 
冯 呈 以 促进 数据 的 解释 (了 2-4)"。 准 确 性 和 及 时 性 都 
是 后 现 频率 非常 低 的 评价 指标 。 准 确 性 涉及 同行 评审 
指 需 中 的 6 个 原始 语句 ,可 以 从 错误 值 . 异 常 值 和 数据 
误 演 等 方面 进行 判断 ,例如 原始 语句 提 到 的 “是 否 适 当 
搬 通 了 可 能 的 错误 源 ?(Jl8.7)"。 数 据 准确 、 无 误 虽 
然 天 数据 质量 的 核心 要 素 , 但 是 评审 者 可 能 很 难 对 其 
和 进 全 验证 和 判断 ,只 能 更 多 地 关注 可 靠 性 和 完整 性 等 
措 凯 。 数 据 的 不 断 更 新 使 得 数据 能 够 及 时 反映 现实 世 
大- 因此 ,及 时 性 是 间接 反映 数据 真实 可 靠 的 评价 指 
栋 以 上 4 个 评价 指标 的 分 析 体现 了 数据 内 在 质量 是 
科 党 数据 质量 的 关键 和 根本 ,能 够 反映 数据 收集 、 处 理 
等 芍 个 阶段 的 质量 情况 。 

3.09 数据 表达 质量 


“三 数据 表达 质量 指数 据 以 规范 一致 和 可 理解 的 方 


式 王 现 的 程度 ,可 以 从 规范 性 一 致 性 和 易 理解 性 三 个 
指标 进行 考量 。 一 致 性 和 可 理解 性 在 孔 丽华 '”) LR. 
TY，Wang0m 等 学 者 的 研究 中 都 有 提 及 ,而 规范 性 较 少 
被 发 现 。 本 研究 中 通过 编码 得 到 ,规范 性 是 数据 表达 
质量 中 最 受 关注 的 评价 指标 ,涉及 到 23 个 原始 语句 。 
M. Wendelbo 也 指出 如 果 数 据 被 正确 地 标记 和 呈现 ， 
用 户 将 更 有 可 能 理解 和 接受 数据 。 规 范 性 的 含义 
是 指 (元 ) 数 据 符合 现行 标准 .公约 、 条 例 或 规则 的 程 
度 。 由 于 不 同学 科 领 域 中 数据 具有 多 元 化 特征 ,学 术 
界 制定 了 不 同 专业 领域 的 数据 标准 和 元 数据 标准 ,以 
方便 科学 数据 的 管理 和 共享 ,并 且 可 以 减少 评审 者 评 
价 科学 数据 质量 的 主观 性 。 从 原始 语句 中 “数据 格式 


容 标 准 ?( 卫 -1)” 可 以 看 出 ,评审 者 可 以 通过 数据 格 
式 .缩写 .符号 .元 数据 格式 .元 数据 结构 等 方面 是 否 满 
足 标准 来 判断 规范 性 。 一 致 性 来 源 于 编码 资料 中 的 
15 个 原始 语句 。 一 致 性 不 仅 包 括 数据 格式 的 一 致 性 ， 
也 包括 数据 和 元 数据 一 致 .数据 与 数据 描述 一 致 。 易 
理解 性 受 关注 度 较 低 , 仅 涉及 4 个 原始 语句 ,指数 据 表 
现形 式 及 数据 描述 简明 清晰 无 歧义 且 易 于 理解 的 程 
度 。 科 学 数据 是 反映 事实 并 作为 研究 证 据 的 特殊 的 传 
播 对 象 ,规范 性 保障 科学 数据 的 有 序 传 播 ,一 致 性 和 易 
理解 性 帮助 用 户 最 大 程度 地 理解 和 接收 数据 传递 的 信 
息 。 因 此 ,良好 的 数据 表达 质量 是 科学 数据 共享 的 前 
提 , 是 评审 者 从 使 用 角度 对 数据 质量 的 考量 。 
3.3 数据 访问 质量 

数据 访问 质量 不 仅 指数 据 方便 用 户 访问 、 获 取 的 
程度 ,也 包含 数据 实体 的 存储 情况 ,可 以 通过 可 访问 
性 ,可 获取 性 和 可 存储 性 三 个 指标 来 进行 评价 。 可 访 
问 性 是 数据 访问 质量 中 最 受 关注 的 指标 ,涉及 18 个 原 
全 语句。 从 编码 的 原始 语句 “是 否 可 以 通过 给 定 的 标 
识 符 访问 数据 集 (J14-5)”“ 是 否 为 应 提交 社区 认可 的 
公共 储存 库 的 数据 提供 了 链接 ? (J34)” 可 以 发 现 , 数 
据 库 链接 和 标识 符 是 评价 可 访问 性 的 主要 依据 。J. 
E. Kratz 等 指出 研究 人 员 和 希望 出 版 的 数据 能 够 通过 数 
据 库 或 存储 库 被 访问 ,数据 期 刊 往往 也 建议 和 鼓励 数 
据 提交 者 能 够 公开 他 的 数据 T S C. C. Austin 等 指出 
如 果 数 据 被 分 配 DOL 等 持久 性 标识 符 , 则 用 户 可 以 快 
速 方便 地 获取 数据 及 其 与 其 他 出 版 物 之 间 的 联系 。 
确保 数据 的 长 期 可 访问 性 还 涉及 数据 实体 的 存储 , 特 
别 对 于 部 分 未 建立 独立 数据 存储 机 制 的 数据 期 刊 , 往 
往 要 求 数据 提交 者 选择 适当 的 仓储 以 保证 数据 的 持久 
存储 和 访问 ,例如 原始 语句 中 提 到 的 “提交 数据 的 存储 
库 是 否 适合 数据 的 性 质 ? (16-10) " SETEfr ERES nT 
访问 性 仅 指数 据 能 够 通过 链接 或 标识 符 被 检索 和 访问 
到 ,可 获取 性 是 指 在 数据 可 访问 的 前 提 下 ,数据 还 可 以 
被 查看 .获取 和 下 载 ”” 。J. E. Kratz 等 在 2015 年 的 调 
查 中 指出 ,作为 数据 使 用 者 的 研究 人 员 最 关注 出 版 数 
据 的 可 获取 性 "” ,在 编码 结果 中 也 发 现 可 获取 性 受到 
数据 期 刊 同 行 评议 的 关注 。 除 了 数据 是 否 容易 下 载 ， 
版 权 问题 也 是 获取 数据 时 需要 考虑 的 因素 ,例如 原始 
语句 提 到 的 “版 权 许可 是 否 被 描述 (首选 开放 许可 ,但 


—— 


是 标准 的 吗 ? (J13-3) “数学 公式 符号、 缩写 和 单位 
是 否 正确 定义 和 使 用 ? (J14-15 ) “元 数据 是 否 准 确 地 
描述 了 数据 并 遵守 相关 的 学 科 或 国际 标准 ? (318-3) " 
“元 数据 在 逻辑 上 是 否 有 组 织 ,它们 是 否 符合 元 数据 内 


如 果 有 令 人 信服 的 原因 ,作者 可 以 使 用 其 他 许可 )? 
(J184)”。 大 部 分 数据 期 刊 将 数据 的 访问 质量 作为 重 
要 的 评审 对 象 ,反映 了 学 术 界 对 数据 可 获取 和 可 访问 
的 密切 关注 。 
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3.4 数据 效用 质量 

数据 效用 质量 指数 据 的 可 用 程度 和 学 术 价值 ,可 
以 通过 可 重用 性 增值 性 .唯一 性 和 新 颖 性 4 个 指标 进 
行 评价 。 在 编码 得 到 的 14 个 评价 指标 中 ,可 重用 性 是 
出 现 频率 最 高 的 指标 ,符合 数据 期 刊 致 力 于 科学 数据 
共享 和 重用 的 理念 。 从 编码 的 原始 语句 “是 否 描述 了 
足够 详细 的 数据 收集 方法 ,以 允许 另 一 位 研究 人 员 重 
现 结果 ? (J182)" 中 发 现 ,评价 数据 可 重用 的 关键 在 
于 数据 描述 详细 全面 的 程度 。 评 审 者 可 以 从 分 析 工 
具 的 可 用 性 、 实 验 可 重复 ,数据 格式 可 重用 数据 和 软 
件 可 使 用 .数据 可 操作 .数据 可 用 于 其 他 实验 或 验证 等 
多 个 方面 评价 可 重用 性 。 增 值 性 也 受到 同行 评议 的 较 
高 关注 ,涉及 15 个 原始 语句 。 增 值 性 的 含义 是 数据 的 
有 有 益 程 度 和 利用 数据 带 来 的 好 处 '” ,意味 着 对 数据 学 
术 从 值 的 判断 ,例如 编码 的 原始 语句 中 “这 些 数据 对 地 
球 科学 做 出 了 重要 而 独特 的 贡献 吗 ?(]154)”。 评价 
增值 性 时 ,评审 者 以 主观 感受 为 主 ,不 仅 要 考虑 数据 是 
而 垃 足 现行 科研 活动 需要 ,还 要 从 长 远 角度 出 发 ,准确 
预测 数据 是 否 可 能 满足 未 来 的 科学 研究 需要 。 然 而 对 
WERE zi ,预测 数据 在 未 来 如 何 被 使 用 可 能 有 一 定 
外 网 难 ,可 以 借助 作者 对 数据 价值 数据 创建 理由 和 意 
义 的 措 述 来 判断 增值 性 。 科 学 数据 往往 来 源 于 科研 人 
黄 询 项 目 /课题 研究 ,并 且 在 作者 发 表 研 究 性 论文 的 时 
候 禾 一 并 发 表 , 因 此 ,评审 者 也 可 以 通过 关注 数据 对 研 
短 绣 论 的 支持 程度 来 评价 其 增值 性 。 孔 丽华 ” 、 李 晓 
di P 等 提出 的 评价 指标 中 都 未 包含 数据 唯一 性 和 新 
颖 性 ,编码 结果 也 表明 ,唯一 性 和 新 颖 性 的 受 关注 度 较 
低 @) 从 原始 语句 “是 否 前 人 已 有 相同 的 数据 发 表 ? 
(J20-3) “数据 是 否 具 有 独特 性 (J20-2) "等 中 总 结 出 
唯一 性 的 含义 是 指数 据 与 已 发 表 数 据 的 重复 程度 ,能 
够 体现 数据 的 发 表 价值 。 新 颖 性 虽然 不 是 数据 必须 具 
备 的 性 质 ,但 是 可 以 体现 数据 的 学 术 价值 。 如 果 数 据 
来 源 新 颖 或 数据 方法 、 处 理 过 程 具有 创新 性 , 则 评审 者 
会 容易 判断 数据 是 否 有 较 高 的 科学 意义 。 科 学 数据 的 
本 质 是 服务 于 科学 研究 的 数据 ,在 数据 用 户 对 数据 重 
复 利用 的 期 望 下 ,同行 评议 关注 数据 的 效用 质量 ,进而 
保障 数据 价值 和 作用 的 发 挥 。 
4 结论 与 展望 

本 文 以 数据 论文 同行 评议 指南 或 类 似 政策 文本 为 
对 象 ,通过 扎根 理论 方法 分 析 ,提取 科学 数据 的 质量 评 
价 指标 ,以 期 从 一 个 新 的 角度 探索 科学 数据 质量 评价 。 
通过 研究 ,得 到 了 数据 内 在 质量 ,数据 表达 质量 ,数据 


访问 质量 和 数据 效用 质量 4 个 一 级 指标 和 完整 性 \ 准 
确 性 等 14 个 二 级 指标 ,指出 了 部 分 指标 的 使 用 频次 ， 
构建 形成 了 科学 数据 质量 评价 指标 体系 。 最 后 ,论文 
进一步 讨论 和 分 析 了 科学 数据 感知 质量 的 内 在 结构 以 
及 质量 指标 和 质量 判断 依据 之 间 的 关系 。 

在 科学 数据 共享 总 量 持 续 扩 大 的 情况 下 ,科学 数 
据 质量 逐渐 成 为 了 有 效 共 享 的 新 短 板 ,如 何 科 学 准确 
地 评价 科学 数据 质量 是 国内 蓬勃 发 展 的 各 类 数据 期 刊 
和 数据 中 心 的 迫切 需求 。 在 这 一 背景 下 ,本文 以 实证 
的 形式 对 国内 外 数据 期 刊 的 同行 评议 实践 进行 总 结 与 
提炼 ,一 方面 为 相关 各 方 展现 科学 数据 质量 评价 现状 ， 
男 一 方面 也 为 数据 期 刊 和 数据 中 心 制定 其 数据 质量 评 
价 指南 和 评价 标准 提供 有 益 的 参考 。 

论文 在 样本 数量 上 存在 一 定 的 不 足 。 两 个 因素 导 
致 了 这 一 局 限 :一 方面 ,数据 论文 仍然 是 学 术 传 播 领域 
的 新 生 事物 并 且 处 于 发 展 过 程 中 ,其 总 体 数量 相对 有 
限 ; 另 一 方面 ,部 分 期 刊 并 没有 公开 其 评审 指南 、 部 分 
期 刊 指 南 内 容 描述 不 充分 以 及 存在 评审 指南 共用 ( 例 
如 隶属 同一 出 版 集团 的 多 个 期 刊 使 用 一 样 的 评审 指 
南 ) 等 情况 导致 了 大 量 期 刊 无 法 成 为 有 效 样本 。 论 文 
通过 理论 饱和 度 校 验 部 分 地 表明 了 当前 样本 数量 并 未 
对 研究 结论 产生 影响 ,但 更 大 规模 且 学 科 履 盖 范 围 更 
全 面 的 样本 将 有 助 于 进一步 验证 评价 指标 体系 的 通用 
性 ,这 也 是 未 来 研究 的 重点 和 方向 。 
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Abstract: | Purpose/significance | From the perspective of peer review on data journals, this paper identifies 
and puts forward scientific data quality evaluation indicators to improve the understanding of scientific data quality e- 
valuation and provide a reference for the practice of peer review of data papers. | Method/process | Data review 
guidelines for 20 data journals were selected as source material for qualitative research. This paper used grounded 
theory and qualitative analysis software NVivo to openly encode, correlate and selectively encode the data, and finally 
tested the encoding results through the theoretical saturation test. | Result/conclusion | Finally, in the context of 
peer review of data papers, a scientific data quality evaluation index system was established , including four categories 
of data internal quality, data expression quality, data access quality, and data utility quality and 14 evaluation indi- 
cators. Then this article analyzed the specific meaning and classification of the indicators in detail to help the authors 
and reviewers of data papers understand the internal structure of scientific data quality. 
evaluation indicator grounded theory 
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